#Watch & Learn

avatar
小互
5个月前
兄弟们，这个有点意思 Google最新研究：直接接让AI观看 YouTube 视频 ，从视频中学习如何操作电脑 训练AI操作电脑，需要大量“人类是怎么用电脑的”例子，也就是UI操作轨迹 👉 这些轨迹记录每一步操作前后的屏幕状态、动作类型、位置坐标、输入文字等。 但是手工标注这些数据极其昂贵和费时费力... 于是，Google 提出了一个非常自然的问题： 互联网上那么多教学视频（如YouTube教程）中，人类已经展示了操作流程，为什么不能直接让AI从这些视频中学习呢？ Google提出了一个新的框架 Watch & Learn (W&L)，一个可扩展的、无需人工标注的解决方案。 他们的想法很简单： 就是“让AI学会用电脑，就像人类一样——看视频教程来自学。” 🧩 W&L 框架怎么做？ 研究者想到：网上有无数人做的教学视频，比如「如何用Excel画图」或「PS去除背景」。 这些视频里，人类一步步展示操作流程——那不就是现成的教学数据吗？ W&L 的做法是： - 自动下载这些教程视频； - 用视觉AI分析每一帧画面变化； - 通过逆动力学模型推断出“用户刚刚点了哪里、打了什么字”； - 生成一串结构化步骤，让AI学会模仿。 这样，AI 就能「看视频 → 变成操作脚本」。
谷歌Deep Research：AI操作系统雏形？· 145 条信息
#Google #AI #Watch & Learn #YouTube教程 #自动化